There is a key problem in the medical visual question answering task that how to effectively realize the feature fusion of language and medical images with limited datasets. In order to better utilize multi-scale information of medical images, previous methods directly embed the multi-stage visual feature maps as tokens of same size respectively and fuse them with text representation. However, this will cause the confusion of visual features at different stages. To this end, we propose a simple but powerful multi-stage feature fusion method, MF2-MVQA, which stage-wise fuses multi-level visual features with textual semantics. MF2-MVQA achieves the State-Of-The-Art performance on VQA-Med 2019 and VQA-RAD dataset. The results of visualization also verify that our model outperforms previous work.
translated by 谷歌翻译
Recent work has demonstrated that natural language processing techniques can support consumer protection by automatically detecting unfair clauses in the Terms of Service (ToS) Agreement. This work demonstrates that transformer-based ToS analysis systems are vulnerable to adversarial attacks. We conduct experiments attacking an unfair-clause detector with universal adversarial triggers. Experiments show that a minor perturbation of the text can considerably reduce the detection performance. Moreover, to measure the detectability of the triggers, we conduct a detailed human evaluation study by collecting both answer accuracy and response time from the participants. The results show that the naturalness of the triggers remains key to tricking readers.
translated by 谷歌翻译
关于点击率（CTR）预测的最新研究通过对更长的用户行为序列进行建模，已达到新的水平。除其他外，两阶段的方法是用于工业应用的最先进的解决方案（SOTA）。两阶段方法首先训练检索模型，以事先截断长行为序列，然后使用截短序列训练CTR模型。但是，检索模型和CTR模型是分别训练的。因此，CTR模型中检索到的子序列不准确，它降低了最终性能。在本文中，我们提出了一个端到端范式来建模长行为序列，与现有模型相比，该序列能够实现卓越的性能以及出色的成本效益。我们的贡献是三倍：首先，我们提出了一个名为ETA-NET的基于哈希的有效目标（TA）网络，以基于低成本的位置操作来启用端到端的用户行为检索。提出的ETA-NET可以通过顺序数据建模的数量级来降低标准TA的复杂性。其次，我们建议将通用系统体系结构作为一种可行的解决方案，用于在工业系统上部署ETA-NET。特别是，与SOTA两阶段方法相比，ETA-NET已部署在TAOBAO的推荐系统上，并在CTR上带来了1.8％的升降机和3.1％的升降机（GMV）。第三，我们在离线数据集和在线A/B测试上进行了广泛的实验。结果证明，在CTR预测性能和在线成本效益方面，所提出的模型大大优于现有的CTR模型。 ETA-NET现在为TAOBAO的主要流量提供服务，每天为数亿用户提供服务。
translated by 谷歌翻译
人搜索是多个子任务的集成任务，例如前景/背景分类，边界框回归和人员重新识别。因此，人搜索是一个典型的多任务学习问题，尤其是在以端到端方式解决时。最近，一些作品通过利用各种辅助信息，例如人关节关键点，身体部位位置，属性等，这带来了更多的任务并使人搜索模型更加复杂。每个任务的不一致的趋同率可能会损害模型优化。一个直接的解决方案是手动为不同的任务分配不同的权重，以补偿各种融合率。但是，鉴于人搜索的特殊情况，即有大量任务，手动加权任务是不切实际的。为此，我们提出了一种分组的自适应减肥方法（GALW）方法，该方法会自动和动态地调整每个任务的权重。具体而言，我们根据其收敛率对任务进行分组。同一组中的任务共享相同的可学习权重，这是通过考虑损失不确定性动态分配的。对两个典型基准（Cuhk-Sysu and Prw）的实验结果证明了我们方法的有效性。
translated by 谷歌翻译
注意机制在视力识别方面取得了巨大成功。许多作品致力于提高注意力机制的有效性，该机制精心设计了注意操作员的结构。这些作品需要大量实验才能在场景变化时挑选最佳设置，这会消耗大量时间和计算资源。此外，神经网络通常包含许多网络层，并且大多数研究通常使用相同的注意模块来增强不同的网络层，从而阻碍了自我发挥机制的性能的进一步改善。为了解决上述问题，我们提出了一个自我发挥的模块SEM。基于注意模块和替代注意操作员的输入信息，SEM可以自动决定选择和集成注意操作员以计算注意力图。 SEM的有效性通过广泛使用的基准数据集和流行的自我发挥网络的广泛实验来证明。
translated by 谷歌翻译
已经观察到，可以从这两种方式中提取视听嵌入，以获得人验证的稳健性。但是，似乎从每个帧中生成单个话语表示的聚合器似乎并未得到很好的探索。在本文中，我们提出了一个视听网络，该网络从融合的角度考虑聚合器。我们首次在面对面验证中引入了改进的细心统计数据。然后，我们发现合并过程中的模式之间存在很强的相关性，因此提出了关节关注的合并，其中包含循环一致性以学习隐式框架间的重量。最后，将这种方式与封闭的注意机制融合在一起。所有提出的型号均在Voxceleb2开发数据集上进行培训，最佳系统分别在Voxceleb1的三个正式步道列表中获得0.18 \％，0.27 \％和0.49 \％EER，据我们所知，这是个人发布的最佳成绩确认。作为分析，生成可视化图来解释该系统如何在模态之间相互作用。
translated by 谷歌翻译
最近，提出了许多有效的自我发场模块来启动模型性能，通过利用计算机视觉中的卷积神经网络的内部信息。总的来说，许多以前的作品都忽略了考虑自我发挥机制的合并策略的设计，因为它们采用了全球平均水平，这是理所当然的，这阻碍了自我发挥机制的表现进一步改善。但是，我们从经验上发现并验证了一种现象，即全球最大速度和全球最小程度的简单线性组合可以产生匹配或超过全球平均平均水平的性能的合并策略。基于这一经验观察，我们提出了一个简单的自我发场模块SPENET，该模块Spenet采用了基于全球最大功能和全球最小程度的自适应汇总策略，以及用于生成注意力图的轻量级模块。 Spenet的有效性通过广泛使用的基准数据集和流行的自我注意力网络进行了广泛的实验证明。
translated by 谷歌翻译
知识蒸馏（KD）已广泛发展并增强了各种任务。经典的KD方法将KD损失添加到原始的跨熵（CE）损失中。我们尝试分解KD损失，以探索其与CE损失的关系。令人惊讶的是，我们发现它可以被视为CE损失和额外损失的组合，其形式与CE损失相同。但是，我们注意到额外的损失迫使学生学习教师绝对概率的相对可能性。此外，这两个概率的总和是不同的，因此很难优化。为了解决这个问题，我们修改了配方并提出分布式损失。此外，我们将教师的目标输出作为软目标，提出软损失。结合软损失和分布式损失，我们提出了新的KD损失（NKD）。此外，我们将学生的目标输出稳定，将其视为无需教师的培训的软目标，并提出了无教师的新KD损失（TF-NKD）。我们的方法在CIFAR-100和Imagenet上实现了最先进的性能。例如，以Resnet-34为老师，我们将Imagenet TOP-1的RESNET18的TOP-1精度从69.90％提高到71.96％。在没有教师的培训中，Mobilenet，Resnet-18和Swintransformer-tiny的培训占70.04％，70.76％和81.48％，分别比基线高0.83％，0.86％和0.30％。该代码可在https://github.com/yzd-v/cls_kd上找到。
translated by 谷歌翻译
最近，对深度学习进行了广泛的研究，以加速动态磁共振（MR）成像，并取得了令人鼓舞的进步。但是，如果没有完全采样的参考数据进行培训，当前方法可能在恢复细节或结构方面具有有限的能力。为了应对这一挑战，本文提出了一个自我监督的协作学习框架（SelfCollearn），以从无效的K-Space数据中进行准确的动态MR图像重建。拟议的框架配备了三个重要组成部分，即双网络协作学习，重新启动数据增强和专门设计的共同培训损失。该框架可以灵活地与数据驱动的网络和基于模型的迭代未滚动网络集成。我们的方法已在体内数据集上进行了评估，并将其与四种最新方法进行了比较。结果表明，我们的方法具有很强的能力，可以从无效的K空间数据捕获直接重建的基本和固有表示形式，因此可以实现高质量且快速的动态MR成像。
translated by 谷歌翻译
依靠深度监督或自我监督的学习，近年来，成对的单图像和稀疏深度数据的深度完成方法的先前方法令人印象深刻。但是，面对一个新的环境，该环境在网上发生测试数据，并且与RGB图像内容和深度稀疏性中的训练数据不同，受过训练的模型可能会遭受严重的性能下降。为了鼓励训练有素的模型在这种情况下运行良好，我们希望它能够连续有效地适应新的环境。为了实现这一目标，我们提出了Metacomp。它利用元学习技术在训练阶段模拟适应策略，然后以自我监督的方式将模型适应新环境。考虑到输入是多模式数据，由于两个模态数据的结构和形式存在显着差异，因此将模型同时改编到两个模态的变化将是一项挑战。因此，我们进一步建议将基本元学习训练中的适应程序分为两个步骤，第一个小时重点放在深度稀疏性上，而第二次参与图像含量。在测试过程中，我们采取相同的策略将模型在线调整为新的多模式数据。实验结果和全面的消融表明，我们的元素能够有效地适应新环境中的深度完成，并适应不同方式的变化。
translated by 谷歌翻译